Năm 1954, Lâm Ngữ Đường được mời đến Singapore giữ chức Viện trưởng Đại học Nangyang mới được thành lập và chưa hoạt động. Sáu tháng sau ông quay lại Pháp sau khi những sáng kiến của ông không được thực hiện, và khi đại học tân lập này vẫn chưa hoạt động.

Từ năm 1965, Lâm Ngữ Đường và vợ đến sống ở Đài Loan.

Vợ ông, Lưu Thúy Phượng, cũng viết sách dạy nấu ăn. Những công thức nấu ăn của bà đã giúp quảng bá ẩm thực Trung Hoa ở Mỹ. Lâm Ngữ Đường viết lời giới thiệu cho một trong những bộ sưu tập ẩm thực Trung Hoa của con gái ông, Lâm Tương Như. Con gái thứ hai của ông, Lâm Thái Ất, là tổng biên tập tạp chí Readers’ Digest bản tiếng Hoa từ năm 1965 đến 1988.

Sau khi mất, Lâm Ngữ Đường được an táng tại nhà riêng ở Dương Minh Sang, Đài Bắc, Đài Loan. Ngôi nhà nay là Thư viện Tưởng niệm Lâm Ngữ Đường, trong khi ngôi nhà của Lâm Ngữ Đường ở Ban Tử, nơi ông chào đời, cũng trở thành viện bảo tàng.